Stafford efterträdde 1959 Joseph B. Johnson som guvernör i Vermont. Han efterträddes 1961 av F. Ray Keyser. Stafford efterträdde sedan 1961 William H. Meyer som kongressledamot. Senator Winston L. Prouty avled 1971 i ämbetet och Stafford blev utnämnd till senaten.
Stafford tog många liberala ståndpunkter. Han profilerade sig speciellt i miljö- och utbildningsfrågor. Han vann fyllnadsvalet1972 och omvaldes 1976 och 1982. Han ställde inte upp för omval i senatsvalet 1988 och efterträddes i januari 1989 av Jim Jeffords. På äldre dagar engagerade sig Stafford för att få till stånd registrerade partnerskap för samkönade par i Vermont.